Cha là Đỗ Thì Thăng, ẩn sĩ nổi tiếng cuối đời Kim, sử cũ có truyện.[3]

Anh mình cao 7 thước, râu dài và đẹp, dáng vẻ khôi vĩ. Nhà Kim sắp mất, trong khi kẻ sĩ vẫn còn dựa vào văn chương để tìm đường thăng tiến, thì Anh một mình lánh vào núi Câu Thị thuộc Hà Nam. Sau cơn binh lửa, văn vật tan tác, Anh sưu tầm sách vở, đọc kỳ hết, đã đọc thì không quên, rồi tìm hiểu ý nghĩa của chúng, nên việc xưa nay được mất đều nắm rõ như lòng bàn tay. Anh vất vả chuyển dời, dạy học mưu sinh trong khoảng Phần, Tấn. Trung thư Niêm Hợp Khuê mở phủ ở Tương, Anh nhận lời mời của ông ta, nên định cư ở đấy; được tặng ngàn mẫu ruộng tốt, ông từ chối. Có kẻ thuật sĩ nói ruộng đất có chôn vàng, người nhà muốn đào lên, Anh liền ngăn cản. Về sau người ở đất ấy quả nhiên tìm được trăm cân vàng, thế mới biết Anh không tham của không chính đáng.